導(dǎo)讀:在這個(gè)科技高度發(fā)達(dá)的時(shí)代,百度已經(jīng)成為人們能獲取消息的主要途徑。但如今的百度,到處充斥著一些重復(fù)的內(nèi)容,對用戶的訪問造成很大的困擾。因此,百度需要對網(wǎng)頁重復(fù)進(jìn)行判斷,對重
發(fā)表日期:2019-08-07
文章編輯:興田科技
瀏覽次數(shù):12989
標(biāo)簽:
在這個(gè)科技高度發(fā)達(dá)的時(shí)代,百度已經(jīng)成為人們能獲取消息的主要途徑。但如今的百度,到處充斥著一些重復(fù)的內(nèi)容,對用戶的訪問造成很大的困擾。因此,百度需要對網(wǎng)頁重復(fù)進(jìn)行判斷,對重復(fù)的網(wǎng)頁,只選取一些高質(zhì)量的我那工業(yè),共用戶瀏覽。然而,現(xiàn)有技術(shù)中一般是通過比較兩個(gè)頁面的內(nèi)容和借點(diǎn),來確認(rèn)兩個(gè)頁面的相似度。
這種方法能夠計(jì)算的比較準(zhǔn)確,可時(shí)間復(fù)雜度太高,計(jì)算很費(fèi)時(shí)間。通過對一個(gè)頁面中的某些重要信息進(jìn)行簽名,然后比較兩個(gè)頁面的簽名,來計(jì)算相似度,這種方式比較簡單高效,計(jì)算速度比較快,比較適合百度這種海量信息的應(yīng)用場景。
1,網(wǎng)站重復(fù)內(nèi)容的判斷
A,獲取多個(gè)網(wǎng)頁;
B,分別提取網(wǎng)頁的網(wǎng)頁正文;
C,從網(wǎng)頁正文中提取一個(gè)或多個(gè)句子,并根據(jù)一個(gè)或多個(gè)句子計(jì)算網(wǎng)頁正文句子簽名;
D,根據(jù)網(wǎng)頁正文句子簽名對多個(gè)網(wǎng)頁進(jìn)行聚類;
E,針對每一類下的網(wǎng)頁,計(jì)算網(wǎng)頁的附加簽名;
F,根據(jù)附加簽名判斷每一類下的網(wǎng)頁是否重復(fù)。
網(wǎng)站頁面基本架構(gòu)
提取正文
A,對網(wǎng)頁進(jìn)行分塊;
B,對分塊后的網(wǎng)頁進(jìn)行塊過濾,以獲取包含網(wǎng)頁正文的內(nèi)容快;
C,從內(nèi)容塊中提取網(wǎng)頁正文。
正文分句
A,對網(wǎng)頁正文進(jìn)行分句;
在本步驟中,可利用分號,句號,感嘆號等表示句子完結(jié)的標(biāo)志符號來對網(wǎng)頁正文進(jìn)行分句。此外,還可以通過網(wǎng)頁正文的視覺信息來對網(wǎng)頁正文進(jìn)行分句。
B,對分句后的網(wǎng)頁正文進(jìn)行過濾及轉(zhuǎn)換;
在步驟中,先過濾掉句子中的數(shù)字信息;版權(quán)信息以及其他對網(wǎng)頁重復(fù)判斷不起決定性作用的信息。隨后,對句子進(jìn)行轉(zhuǎn)換,例如,進(jìn)行全角/半角轉(zhuǎn)換或者繁體/簡體轉(zhuǎn)換,以使得轉(zhuǎn)換后的句子的格式統(tǒng)一。
C,從過濾及轉(zhuǎn)換后的網(wǎng)頁正文中提取長的一個(gè)或多個(gè)句子;
在本步驟中,過濾及轉(zhuǎn)換后的網(wǎng)頁正文提取出長的一個(gè)句子或者做場的預(yù)定數(shù)量連續(xù)句子的組合。例如,某個(gè)網(wǎng)頁實(shí)例中,經(jīng)過過濾及轉(zhuǎn)換后的某段長,遠(yuǎn)超其他句子,因此可選擇該段為網(wǎng)頁正文句子,或者選擇長的連續(xù)句子組合作為網(wǎng)頁正文句子。
D,對一個(gè)或多個(gè)句子進(jìn)行hash簽名運(yùn)算,以獲取網(wǎng)頁正文句子簽名。
simhash算法就是比較各網(wǎng)頁的附加簽名是否相同或相似來判斷網(wǎng)頁是否重復(fù)。具體來說,在比較利用simhash簽名運(yùn)算獲得的網(wǎng)頁正文簽名時(shí),比較網(wǎng)頁正文簽名的不同位數(shù),不同位越少,表示網(wǎng)頁重復(fù)的可能性越高,在比較其他的附加簽名時(shí),若附加簽名相等,表示網(wǎng)頁在該緯度上重復(fù)。
總結(jié):
1、兩個(gè)網(wǎng)頁的真實(shí)標(biāo)題簽名相同。
2、兩個(gè)我那工業(yè)的網(wǎng)頁內(nèi)容簽名相同。
3、兩個(gè)網(wǎng)頁的網(wǎng)頁正文簽名的不同位數(shù)小于6.。
4、兩個(gè)網(wǎng)頁的網(wǎng)頁位置簽名相同,并且url文件名簽名相同。
5、評論塊簽名、資源簽名、標(biāo)簽標(biāo)題簽名、摘要簽名、url文件名簽名中有三個(gè)簽名相同。
附加信息整站判斷重復(fù)標(biāo)準(zhǔn):
更多新聞
2020
關(guān)于seo,許多網(wǎng)絡(luò)推廣人員喜歡高轉(zhuǎn)化率,認(rèn)為這是有效果的,這是良好的用戶訪問體驗(yàn),這是拿得出手的東西,而為了追求網(wǎng)站的高轉(zhuǎn)化率,許多主管堅(jiān)持說,外鏈和軟文
View details
2020
身為一名seo老手,對于了解seo網(wǎng)站優(yōu)化來說,學(xué)習(xí)它相對容易,但是能夠正確理解相應(yīng)的理論,能夠在適當(dāng)?shù)臅r(shí)間,適當(dāng)?shù)牡攸c(diǎn)使用適當(dāng)?shù)膕eo技術(shù),并產(chǎn)生良好的排序結(jié)
View details
2020
關(guān)于搜索引擎優(yōu)化,優(yōu)化seo不是每個(gè)人都能做到的,現(xiàn)在很多公司為了提高銷售,增加利潤都會選擇seo外包公司來滿足自己的需求,那么應(yīng)該如何選擇seo外包公司呢
View details
2020
關(guān)于搜索引擎優(yōu)化,在做網(wǎng)站SEO優(yōu)化時(shí),很多Seoer遇到的一個(gè)問題是優(yōu)化時(shí)間過長,效果不盡如人意,或達(dá)不到理想的效果,而如果沒有對關(guān)鍵詞進(jìn)行排名,那么網(wǎng)站的
View details